|
|
1.
基于Octave卷积的混合精度神经网络量化方法
张文烨, 尚方信, 郭浩
计算机应用
2021, 41 (5):
1299-1304.
DOI: 10.11772/j.issn.1001-9081.2020071106
浮点数位宽的深度神经网络需要大量的运算资源，这导致大型深度神经网络难以在低算力场景（如边缘计算）上部署。为解决这一问题，提出一种即插即用的神经网络量化方法，以压缩大型神经网络的运算成本，并保持模型性能指标不显著下降。首先，基于Octave卷积将输入特征图的高频和低频成分进行分离；其次，分别对高低频分量应用不同位宽的卷积核进行卷积运算；第三，使用不同位宽的激活函数将高低频卷积结果量化至相应位宽；最后，混合不同精度的特征图来获得该层卷积结果。实验结果证实了所提方法压缩模型的有效性，在CIFAR-10/100数据集上，将模型压缩至1+8位宽时，该方法可保持准确率指标的下降小于3个百分点；在ImageNet数据集上，使用该方法将ResNet50模型压缩至1+4位宽时，其正确率指标仍高于70%。
参考文献 |
相关文章 |
多维度评价
|
|
